情報量 (entropy)
$ S=k\log W
Kullback-Leibler 情報量 (Kullback-Leibler divergence。情報 divergence (information divergence)。情報利得 (information gain)。相對 entropy (relative entropy)) 離散確率分布の場合は$ D_{\rm KL}(P||Q):=\sum_i P(i)\log\frac{P(i)}{Q(i)}
連續確率分布の場合は$ D_{\rm KL}(P||Q):=\int_{-\infty}^\infty p(x)\log\frac{p(x)}{q(x)}dx
自己情報量
$ I(X):=-\log P(X)
確率の乘法が量の加法になる$ f(pq)=f(p)+f(q)やうにすると對數函數になる 條件附き情報量
$ I(A|B):=-\log P(A|B)
$ H(P):=\sum_{A_i\in\Omega}P(A_i)I(A_i)=-\sum_{A_i\in\Omega}P(A_i)\log P(A_i)
負の對數尤度
相互情報量 (mutual information。傳達情報量 (transinformation))
$ I(X,Y):=\sum_{y\in{\cal Y}}\sum_{x\in{\cal X}}P(x,y)\log\frac{P(x,y)}{P(x)P(y)}=H(X)+H(Y)-H(X,Y)
結合 entropy (joint entropy)
$ H(X,Y):=-\sum_{x\in X,y\in Y}P(x,y)\log P(x,y)
條件附き entropy
$ H(X|Y):=\sum_{x\in X,y\in Y}P(X=x,Y=y)\log P(X=x|Y=y)=H(X,Y)-H(Y)
交差 entropy (cross entropy)$ H({\bf p},{\bf q}):=-\sum_i p_i\log q_i $ \rhoを密度行列として$ S:=-{\rm tr}(\rho\log\rho)